预测将无人机系统 (UAS) 整合到国家航空航天 (NAS) 中的结果是一个复杂的问题,在允许 UAS 常规进入 NAS 之前,需要通过模拟研究来解决。本论文重点介绍使用博弈论方法提供 2D 和 3D 模拟框架,以评估有人驾驶和无人机共存场景中的整合概念。文献中的根本差距在于有人驾驶和无人机之间相互作用的模型不足:a) 它们假设飞行员行为是先验已知的,b) 它们忽视了决策过程。这项工作的贡献是提出了一个建模框架,其中使用强化学习和称为 k 级推理的博弈论概念来建模人类飞行员的反应以填补这一空白。k 级推理概念基于人类具有不同层次的决策的假设。强化学习是一种植根于人类学习的数学学习方法。在本研究中,我们采用经典和近似强化学习(神经拟合 Q 迭代)方法对飞行员在 2D 和 3D 机动中的延时决策进行建模。在有人驾驶飞机和配备感知和避让算法的全自动 UAS 存在的情况下,使用示例场景对 UAS 集成进行分析。
主要关键词